Analiza ofert wynajmu nieruchomości z portalu gumtree.pl

Krzysztof Słomczyński

9 grudnia 2016

Inspiracja

Praktyczny wymiar projektu
Aplikacja bazująca na modelu przewidującym ceny

Struktura danych

Jedna zmienna objaśniająca

Przed - 13 tysięcy ofert, po - 10 tysięcy

Wiele zmiennych objaśniających

Przed - 39 zmiennych niezależnych, po - 26

Metoda	Liczba modeli	p=30 K=10 n=100	Najmniejszy błąd
Best Subset Regression	2^p	10¹²	490
Forward Stepwise Selection	^p²⁄₂	760	490
Backward Stepwise Selection	^p²⁄₂	760	490
Walidacja	^p²⁄₂	760	506
Kroswalidacja	K ^p²⁄₂	7605	493
Ridge Regression	K n_λ	1000	493
Lasso	K n_λ	1000	492

Napotkane problemy

Wyrafinowana analiza treści opisu
Propozycja dokładnego opisu atrybutów w formularzu na gumtree.pl

Przygotowanie do projektu

Ukończenie kursów:

Machine Learning at Coursera by Andrew Ng (18 godzin)
Statistical Learning at Stanford ONLINE by Trevor Hastie and Robert Tibshirani (15 godzin)

Zapoznanie się z narzędziami:

Hadoop HDFS
Spark (pakiet sparklyr)
Pakiety do różnego rodzaju regresji (boot, leaps, glmnet)
Pakiety do tworzenia prezentacji revealjs

Kod i inne projekty

Kod napisany na potrzeby tego projektu na github
Raport z innego projektu w którym brałem udział